LoRA变体全解
09 章讲的是 LoRA 的原始版本。这套思路火了之后,紧接着出现了一堆改进——LoRA+、DoRA、rsLoRA、PiSSA、AdaLoRA、VeRA……名字看得人晕。这一章我们把这些变种梳理一遍,讲清楚每种改的是什么、什么时候用、和标准 LoRA 差多少。
1. 先回顾原始 LoRA
原始 LoRA 做的事:
- 冻结原权重 W;
- 加两个小矩阵 A(
r × d)和 B(d × r); - 前向变成
y = Wx + (α/r) · BAx; - A 用随机高斯初始化,B 用 0 初始化。
LoRA 的三个"痛点",是后来变种们要改的:
痛点 1:A 和 B 的梯度尺度不平衡。前向的时候 A 先乘 x、再乘 B,所以 A 的梯度会小很多。用同一个 LR 训 A 和 B,两者更新速度不匹配。
痛点 2:LoRA 只调"权重方向"。权重可以分解为"方向 + 模长",LoRA 的低秩加项同时改了两者。有研究发现"只改方向、不改模长"效果更好(DoRA 的动机)。
痛点 3:r 大的时候不稳定。α/r 这个缩放随 r 变化,导致大 r 时训练动力学变差。rsLoRA 改了这个。
后面每个变种,都是在攻其中一两个痛点。
2. LoRA+:让 B 学快一点
LoRA+(2024)是一个"零成本"的改进:A 和 B 用不同的学习率。
具体做法:给 B 一个更大的学习率(比如 A 用 1e-4,B 用 1.6e-3——差 16 倍)。为什么?作者用了一些理论推导(gradient scale 分析),发现 A 和 B 的"梯度信号强度"差异很大,用同样 LR 训导致收敛慢。
效果:训练更快、最终效果稍好(1-2 个点)。
代价:几乎零——只是多一个超参 lora_plus_ratio(默认 16)。
实现:TRL、LLaMA-Factory 都有内建支持,一个开关的事。这个基本可以默认打开——收益免费。
3. DoRA:分解权重的方向和模长
DoRA(Weight-Decomposed LoRA) 2024 提出。想法很有意思。
任何权重矩阵 W 都能分解为"方向 + 模长":
- V 是"方向"(一个矩阵,按列归一化);
- m 是"模长"(一个向量,每列一个数)。
原始 LoRA 是在 W 上加 BA——同时改动了方向和模长。DoRA 的做法:模长 m 单独训练(可训练向量),方向部分用 LoRA 加项:
这样"方向变化"和"模长变化"是解耦的,模型能更精细地控制这两个自由度。
效果:比 LoRA 高 1-3 个点。训练稍慢(多几个操作)。
代价:参数量多一点点(每层多一个 d 维的 m 向量),但可以忽略。
推荐使用场景:数据量少、微调难度大的任务——DoRA 相比 LoRA 的优势更明显。
4. rsLoRA:让大 r 也稳定
标准 LoRA 里的缩放系数是 α/r。但研究发现这个缩放随 r 增大是次优的——当 r 很大时(比如 256、512),LoRA 训练会变不稳定。
rsLoRA(Rank-Stabilized LoRA) 改成了 α/√r。
一个直观理解:BA 的输出方差正比于 r(因为你在做 r 个通道的加和),要保持输出稳定,缩放系数应该正比于 1/√r,而不是 1/r。
效果:小 r(r ≤ 32)时和 LoRA 差不多;大 r 时 rsLoRA 明显更好。
推荐使用场景:只在 r 大的时候用。如果你的 r 是 16、32,用不用都行。r=128、256、512 的话,rsLoRA 收益明显。
5. PiSSA:更好的初始化
标准 LoRA 用"A 随机、B=0"初 始化。这样开始时 BA=0,训练从 0 开始,比较慢。
PiSSA(Principal Singular Values and Singular Vectors Adaptation):用 W 的 SVD 分解来初始化 A、B。
具体:把 W 做奇异值分解 W = U Σ V^T,取前 r 个最大奇异值:
- 修改后的原权重
也就是"把 W 最主要的 r 个成分单独抽出来当 LoRA,剩下的作为冻结部分"。
好处:
- LoRA 从"训练最重要的 r 个方向"开始,一开始就在做有意义的更新;
- 收敛更快、最终效果更好;
- 对小 r 尤其显著。
代价:需要在训练前做一次 SVD——比朴素初始化慢一些,一次性开销。
推荐使用场景:数据量少、想尽快收敛、对训练成本敏感的场景。PiSSA 相当于给 LoRA 一个"热启动"。
6. AdaLoRA:动态分配 r
AdaLoRA 的想法:不同层需要的 rank 不一样。
标准 LoRA 里每层都用同样 r=16。但实际上:
- 底层(靠近输入)参数变化通常小——需要的 r 小;
- 中层可能需要大 r;
- 上层(靠近输出)也许要中等 r。
AdaLoRA 在训练过程中动态调整每层的 r——用重要性分数(基于奇异值)判断哪些方向重要,把 rank 预算集中到重要的地方。
效果:同样总参数量下比 LoRA 好 1-2 个点。
代价:实现复杂,训练慢一些,超参多。
推荐使用场景:追极致效果时可以试。工程实用性上,不如 DoRA/PiSSA 直接。
7. VeRA:极小参数量的 LoRA
VeRA(Vector-based Random matrix Adaptation):A 和 B 都是共享的、冻结的、随机初始化的矩阵,只训练两个 d 维缩放向量。
看起来激进——你冻结了 LoRA 的两个矩阵,那不就学不到东西了吗?作者的观察是:随机矩阵已经能覆盖足够的表达空间,只需要每层用不同的"缩放"(两个 d 维向量)就能表达任务差异。
效果:参数量比 LoRA 少 10-100 倍,效果掉一点点(1-3 个点)。
推荐使用场景:存储极其敏感的场景——你要为几百个客户各存一个 LoRA。VeRA 每个客户只要几百 KB,LoRA 要几十 MB。
局限:训练不比 LoRA 快多少(还是要过参数),只是存储省。